Ngày 19 tháng 4 năm 1943, Hội đồng Dân ủy Liên Xô ra Nghị định bí mật số 415-138cc, thành lập các cơ quan sau đây trên cơ sở các ban chuyên trách của NKVD của Liên Xô, bao gồm:

1. Tổng cục phản gián "Smersh" của Dân ủy Quốc phòng Liên Xô, đứng đầu là Ủy viên An ninh nhà nước bậc 2 V. C. Abakumov.
2. Cục Phản gián "Smersh" của Dân ủy Hải quân Liên Xô, đứng đầu là Ủy viên An ninh nhà nước P. A. Gladkov.

Ngày 15 tháng 5 năm 1943, căn cứ theo nghị định trên của Hội đồng Dân ủy, đối với các hoạt động tình báo và biên phòng của các đơn vị vũ trang khác thuộc Dân ủy Nội vụ, một tổ chức "Smersh" thứ 3 được thành lập theo Quyết định số 00856 của NKVD:

1. Ban Phản gián "Smersh" của Dân ủy Nội vụ Liên Xô, Trưởng ban - Ủy viên An ninh nhà nước S. P Yukhimovich.

Ba cơ quan này là các đơn vị phản gián độc lập và trực thuộc lãnh đạo của bộ phận. Tổng cục Phản gián "Smersh" quân sự báo cáo trực tiếp đến Ủy viên Nhân dân Quốc phòng Stalin, Cục Phản gián "Smersh" hải quân trực thuộc Ủy viên Nhân dân Hải quân Kuznetsov, Ban Phản gián "Smersh" nội vụ trực thuộc Ủy viên Nhân dân Nội vụ Beria. Một số nhà nghiên cứu cho rằng Beria và Abakumov đã sử dụng các cơ quan Smersh để kiểm soát lẫn nhau, tuy nhiên điều này chưa được xác nhận bởi các tài liệu từ các nguồn lưu trữ.[4]

Ban đầu, các sĩ quan phản gián thuộc Tổng cục phản gián "Smersh" vẫn mang cấp bậc sĩ quan an ninh NKVD. Điều này rất dễ gây nhầm lẫn do một số danh xưng trong hệ thống cấp bậc An ninh và Hồng quân trùng nhau nhưng lại cấp bậc không tương đương nhau. Vì vậy, ngày 29 tháng 4 năm 1943, Stalin ra Quyết định số 1/ssh, quy định hệ thống cấp bậc quân sự cho các sĩ quan phản gián, thường được gọi là các "Chekist" (cán bộ Cheka), theo hệ thống cấp bậc của Hồng quân. Theo đó các sĩ quan phản gián thuộc Tổng cục Phản gián "Smersh" sẽ mang cấp bậc quân sự tương đương từ cấp Thiếu úy đến Đại tá, tương tự hệ thống cấp bậc của Hồng quân. Tuy nhiên, đối với các lãnh đạo cao cấp của Tổng cục, vẫn duy trì hệ thống cấp bậc Ủy viên An ninh nhà nước cũ của NKVD. Mãi đến năm 1945, các lãnh đạo an ninh cấp cao mới được đồng hóa sang cấp bậc quân sự hoàn toàn.

Tuy nhiên, vẫn tồn tại một số trường hợp sĩ quan phản gián quân sự vẫn mang cấp bậc của an ninh nhà nước. Ví dụ trường hợp Trung tá An ninh nhà nước G. I. Polyakov (được phong cấp ngày 11 tháng 2 năm 1943) từ tháng 12 năm 1943 đến tháng 3 năm 1945 đứng đầu bộ phận phản gián của SMERSH thuộc Sư đoàn súng trường 109.

Nhân viên của cả ba bộ phận Smersh đều sử dụng đồng phục và phù hiệu của các đơn vị quân sự mà họ công tác.